Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development
超越最终分数：面向长时域 AI 研究与开发的智能体系统性评估
🧭 Agent 长时域任务过程评估与经验复用
Meituan · University of Chinese Academy of Sciences
通过过程化指标与受控对比，评估 7 个前沿模型在 36 个长时域任务上的行为，发现当前智能体更像工程优化器而非自主研究者
📌 工作参考价值（3 点）
- 评估 Agent 不能只看最终指标，应监控 Solution Framing、Execution、Feedback Control 三个过程环节，定位瓶颈是方案设计、代码执行还是反馈调整，再针对性优化。
- 经验复用是把双刃剑：成功经验可能误导后续决策，建议在 Agent 记忆模块中加入相似性门控或置信度过滤，避免盲目复用历史方案。
- Harness 设计（提示模板、工具接口、实验环境）会显著影响表现稳定性，在业务中上线 Agent 前需隔离变量做 A/B 测试，避免将平台差异误判为模型能力。